AI Papers Daily

#Real-World Tasks

2 篇

UniClawBench: A Universal Benchmark for Proactive Agents on Real-World Tasks

UniClawBench：面向真实世界任务的主动式智能体通用基准

🧭 Agent 评估基准与能力分析

HKU MMLab · Meituan

首个能力驱动、在动态 Docker 环境中闭环评估主动智能体的基准，揭示框架比模型更影响性能

📌 工作参考价值（4 点）

• 能力解耦设计：将任务按 Skill Usage、Exploration、Long-Context Reasoning、Multimodal Understanding、Cross-Platform Coordination 五个维度划分，可启发我们在构建电商搜索/推荐 Agent 时按能力模块进行独立评估与优化
• 闭环评估策略：采用执行器-监督器-用户模拟器三角色闭环，隐藏真值、模拟多轮人类反馈，可用于内部 Agent 迭代，避免静态评测过拟合
• 框架选择比模型更重要：实验结论提示我们在实际系统中应优先优化 Agent 框架（工具编排、上下文管理）而非盲目升级基础模型
• 实时环境执行（Docker 容器+步骤检查点）：可借鉴将 Agent 丢入真实可操作环境（如浏览器、终端）并设计细粒度完成度打分，弥补传统离线评测的不足

Eval | 2026-07-08 | HF Daily | score 7/10

Agent EvaluationProactive AgentBenchmarkCapability-DrivenClosed-Loop EvaluationReal-World Tasks

EdgeBench: Unveiling Scaling Laws of Learning from Real-World Environments

EdgeBench：真实世界智能体学习性能的对数S型缩放定律

🧭 智能体环境学习缩放定律

ByteDance

首次发现智能体在真实环境中的长时间学习遵循精确的对数S型缩放定律，R²达0.998

📌 工作参考价值（4 点）

• 长时间运行智能体的性能预测：在电商广告自动优化、推荐系统持续调参等场景下，可借鉴对数S型曲线（$S(t) = \frac{S_{max}}{1 + (t_{mid}/t)^\beta}$）刻画智能体从环境反馈中学习的规律，预估性能饱和点，避免无效等待。
• 任务设计与评估框架：EdgeBench 要求单任务至少 12 小时连续运行并提供多级丰富反馈，类似方式可用于构建电商场景的长期智能体评测集（如七天不间断选品与出价），量化模型在真实业务流中的持续学习能力。
• 学习速度的迭代改进：论文发现智能体学习速度约每三个月翻倍，这启发我们在推荐智能体迭代时，关注模型代际的策略学习效率提升，将“学习速度”作为选型指标。
• 反馈机制设计：任务提供多级环境反馈（即时奖励、子任务完成信号等）是性能规律显现的关键，推荐系统中的智能体也应引入多层次、非延迟的反馈信号，以支撑稳定学习。

Agent | 2026-07-05 | HF Daily | score 7/10

Agent LearningScaling LawsReal-World TasksBenchmarkLog-SigmoidContinuous Feedback